Тестируем группировки сервисов. 
Ha узле разработчика 


Как поведет себя система, когда сеть тормозит, ; Ж 
сервис в цепочке сломали, подсеть отвалилась? E 0 
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Быстрый старт? 


CHAOS TESTING 
Требует: 


е Observability PUMBA 


e Поднятых 


контеинеров 
Может: : 
COMMANDS : 
delay delay egress traffic 
loss "ы 


duplicate [n] 


corrupt 


rate limit egress traffic 


лимитирован только работой c сетью, 
хочется управления узлами и создавать сценарии 


Чего же мьгхотим2. S 


Управлять сетью, контролировать запуск узлов 


Инструмент, способный: 
настраивать изолированные сервисы 


SDN как база создавать сервисам проблемы 


наблюдать реакции 


-- 


Максимально простой инструмент 


Создание узлов из докер-образов 
Развертка простых сетей 
Доступ к отправке команд на узел 


HL Load 


from 5.106ה13‎ import DockerNode 
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from 13п5 import defaults 


= 
е 
| 


DockerNode('test1', image-'alpine', command-'tail -f /dev/null') 


DockerNode('test2', image-'alpine', command-'tail -f /dev/null') 
ni.connect to(n2) 


print(ni.get ip()) 
19  print(n2.get ip()) 


12 . defaults.network.start(interactive-True) ₪ 


[lo ssh 


Создадим докер-образ 
Разрешим 55ћ 
Запустим демона 
Передадим команды! 


Подготовка зависимостей 


# docker build -t sshnode . 
FROM ubuntu:20.04 


## kubenode software Базе 
RUN apt update \ 
&& apt install -yq software-properties-common ca-certificates openssh-client apt-transport-https 4 


wget curl nano htop iptables supervisor systemd 
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### SSH 
19 ВОМ useradd --create-home --no-log-init --shell /bin/bash -g root vagrant 88 \ 
11 usermod -aG sudo vagrant && \ 


12 usermod -aG users vagrant && \ 


13 echo "vagrant:vagrant" | chpasswd 


Подготовка ssh 


RUN apt update 88 apt --no-install-recommends install -y putty-tools plink openssh-server ssh 88 \ 
mkdir /var/run/sshd && \ 
sed -ri 's/^it?PermitRootLognVs-*.*/PermitRootLogin yes/' /etc/ssh/sshd config && \ 
sed -ri 's/UsePAM уеѕ/#0ѕеРАМ yes/g' /etc/ssh/sshd config 88 \ 
echo "AnAllowGroups root" << /etc/ssh/sshd config 88 \ 


echo "XnAllowUsers vagrant" << /etc/ssh/sshd config 88 \ 
mkdir /root/.ssh && \ 
mkdir /home/vagrant/.ssh 

EXPOSE 22 
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Создание сети 


9  defaults.network = Network('49.0.0.0/8') 


11 master = DockerNode('master', image-'sshnode', command-'tail -+ /dev/null', tty-True, stdin open-True, ) 
12  worker1 = DockerNode('worker1', image-'sshnode', command-'tail -f /dev/null', tty-True, stdin open-True) 


13 | worker2 = DockerNode('worker2', image-'sshnode', command-'tail -f /dev/null', tty-True, stdin open-True) 


15 |J master.connect to(worker1) 
16 | master.connect to(worker2) 
17 master.connect to internet - True 


18 workeri.connect to internet = True 


19 worker2.connect to internet - True 


Запуск сети и обще 


С мастера заходим на каждый из узлов 


with defaults.network: 


run on all nodes( """/bin/bash -c "/usr/sbin/sshd" """) 


print("started SSH deamons on all nodes") 


run on a node(master, """/bin/bash -c "echo y | plink -ssh мавгап+@"""+ \ 


-pw vagrant \"exit\" " """( 


str(worker1.get_ip())+ 


run on a node(master, """/bin/bash -c “plink -ssh vagrant@"""+ \ 


-pw vagrant 15 -lah" """( 


str(worker1.get_ip())+ 
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Используя їс 


Установить в образ їс 


Запускать c «привилегированньм» 
флагом 


Передавать їс-команды 


á HL Load 


tc 00156 add dev ethO root netem delay 200ms 


qdisc: изменять планировщик 

ааа: добавить новое правило 

dev eth0: по отношению к устройству 0 
netem: использовать эмулятор сети 

delay: изменяемое свойство — задержка 
200715: добавить задержку 200мс 


(HL) HighLoad" 


Применить Docker Swarm 


Использовать ee как точку входа M 
организации сети 


++ 
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Запускаем узлы удаленно 


B Docker Swarm 


from 13п$.змагт import SwarmNode, SwarmSubnet, SwarmHost 
from 13п5 import defaults 
from l3ns.base import Network 


defaults.network - Network('15.0.0.0/8') 

hosti = SwarmHost('w1', loginz'ojakushkin w1') 

host2 = SwarmHost('w3', loginz'ojakushkin w3') 

п1 = SwarmNode('test1', hosti, image-'alpine', соттапд- "Та11 -f /dev/null') 


O 0 ы oO uU ₪ U N HM 


n2 = SwarmNode('test2', host2, image-'alpine', command-'tail -f /dev/null') 


е ы 
e o 


nl.connect to(n2, subnet class-SwarmSubnet) 


Hp 
N 


defaults.network.start(interactive-True)| 


Создать Swarm-ceTb 
Напихать в нее роутеров и узлов 
Организовать сетевые связи 
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Кластер «на коленке» 


Формируем узлы, связи, сеть 


for i in range(m): 
ii = i // cluster size 
lan nodes - [] 
lans.append(lan nodes) 
lan routers = SwarmNode.generate routers(f'l3ns router(i) ', inteerconnect, hosts[ii]) 
routers += lan routers 
for r in lan routers: 
router net.add node(r) 
lan nodes.extend(lan routers) 
lan nodes.extend([ 
SwarmNode(f'l3ns node (i) (j*1)', hosts[ii], image-'alpine', 
command-f'ping (random.choice(random.choice(lans)).get ip())') 
for j in range(N)]) 
lan net = DockerSubnet(f'l3ns net (1)", lan nodes, docker client-hosts[ii].get docker client())| 
overlay - RipOverlay(routers) 
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МАРТ ~= L3NS 


= Эмуляция L3 
= Quagga (SDN) вместо эмуляции роутеров 
= Р"оскег-контейнеры для эмуляции хостов 


= Python АРІ для определения топологии сети 


= Базовая настройка динамической маршрутизации 
из коробки 
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Ней! оаа 
HL) Ненова“ 


back to list open graph restart stop 


* Uptime: 102 sec. 
* Avg. traffic: 0.21274555447195814 
* Messages: 12335 

• 3:0.8% | 103 


Filter 


MADT large net L2 N25 5 
(madt/pyget:latest) 


MADT large net L2 N25 4 
(madt/pyget:latest) 


MADT large net L2 N25 3 
(madt/pyget:latest) 


MADT large net L2 N25 2 
(madt/pygetlatest) 


MADT large net L2 N25 1 
(madt/pyget:latest) 


MADT large net L2 N24 5 
(madt/pyget:latest) 


MADT larna nat 12 МОЛ А 


large net containers: 


| 


* Uptime: 112 sec. 

* Avg. traffic: 0.24621058688614814 
* Messages: 13583 

• 3:0.8% | 103 


Show containers 


E 


Протокол OSPF 
Роутеры — досКег-узлы 
Использовать сниффер tshark 


Логировать по чек-сумме и пункту 
назначения на каждом узле 


Агрегировать 


" HL Load 


client5 


cliente 
client4 


router3 


clientl 


client3 


Вывод tsharl 


Destination: 15.0.0.3 
'ransmisston Соптгоц Protocol, Sre Port: 36546 (36546), Dst Port: Е 
Source Port: 36546 
Destination Port: 6 
[Stream index: 59] 
[TCP Segment Len: 6] 
Sequence number: 141 (relative sequence number) 
Acknowledgment number: 853 (relative ack number) 
Header Length: 32 bytes 
Flags: 8x618 (ACK) 


000. ores поето = Reserved: Not set 

soel 565.04... = Мопсе: Not set 

«эў» бола рече = Congestion Window Reduced (CWR): Not set 
וי‎ «е... = ECN-ECho: Not set 

sre 6. „... = Urgent: Not set 

s.s. seel s. = Acknowledgment: Set 

өзө отет 0... = Push: Not set 

vss» обв. 20:2 m Reset: МОЕ set 

«ov oves „0. = Syn: Not set 


s. esse 55.0 = Fin: Not set 

[TCP Flags: 00000040007] 
Window size value: 1 
[Calculated window size: 64128] 
[Window size scaling factor: 128] 
Checksum: 6x1e45 [уа да оп disabled] 

|цооа cnecksum: False] 

[вад Checksun: False] 
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$~,  НУРЕВГЕОСЕВ 


“У FABRIC 


` | Алгоритмы консенсуса 


Поведение при непогоде B сети 


ethereum 


r3.c-rda 
90 Tendermint A. 


" HL Load 


*.. HYPERLEDGER , У, 


$7 FABRIC 


Маат 


Ф Топология строится до запуска 
ө Есть пользовательский 
% Нет АПИ для интерфейс для наглядной 


ЩИ ИЕ НО работы с запущенной сетью 
взаимодеиствия 


23 Вы 


| 5 


o Все делается из кода 
% Нет графического интерфейса 


Запускаем 6 WSL2 на windows 
Минималистичен 
выше меры 
% Умеет масштабировать 
симуляцию более чем на один 
Зелен 
узел, используя Docker Swarm 


24 ушш» 


Какие есть альтернативы для этих задач? 


1 Mininet, NS-3, CoreEmu - о них чуть позже 


| EVE-NG - платный 


3 GNS3 - фокус именно на сети 


25 C 


Но есть плагины, 


самые интересные: 

* ContainerNet — контейнеры 
для змуляции XOCTOB 

" Мах!Меї — распределенное 
тестирование 


Руїһоп АР! для описания 
топологии сетей 


Продвинутый СП управления 
моделями и запуска тестов 


Библиотека топологий, в том 
числе и параметризированных 


26 (нуч 


99% 9 


ninet 


Эмуляция 
L2 (OpenVSwitch) 


Изначально для 
эмуляции хостов 
используются 
виртуальные машины 


s HighLoad+ 
(но нечо 


Эмуляция L2 


Точная эмуляция 
работы роутеров 
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EVE-NG 


o Для эмуляции XOCTOB 
используются виртуальные 
машины 

o Структура сети 
описывается 
графически, нет АР! 

o Ручная настройка 
протоколов 


динамической 
маршрутизации 


GNS3 


Ручная настройка динамической Также эмуляция 12 


маршрутизации 


Точная эмуляция o Можно использовать 
ОПосКег-контейнеръ! 


работы роутеров 


HTTP API для 
определения 
топологии сети 


28 (н) нео" 


Интересные дополнительные кейсы 


1 МР! 
2 Kubernetes 


3 Потери в беспроводной мобильной связи 
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Используем Containers Net на базе 
mininet 

Строим топологии Fat-Tree и 
Dragonfly 


30 HL Load 
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Да ; 
пи 


: 
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Используем Istio 

Мы все перепробовали, но 
запустить Istio + Kubernetes на 
одной машине не удалось=( 


++ 
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NS-3 + Docker для моделирования 
Vizceral для визуализации 


Альтернативно можно применить 
coreemu, у которого есть обертки 
над 5-3 


HL Load‏ כב 


И проблемы 


р Ее графический поддержк распределенная 
платформа эмуляции запуска рәт PADS 
5 интерфейс симуляции a WSL2 работа 
сети контеинеров 
coreemu E E + + ЈУ 
I3ns + + + + 
таа + + + ^^ 
ns-3 + | + i») 
mininet + | | + ) 
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== 
Санкт-Петербургский Е ++ 
государственный ₪ Ы _ Load 


Спасибо 
за внимание! 
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Дискуссия 


Тестируем группировки сервисов. На узле разработчика 
Как поведет себя система, когда сеть тормозит, 
сервис в цепочке сломали, подсеть отвалилась? 


Олег Якушкин и команда СПбГУ 


